幸运的是，上传这个模子的组织叫做「yofo-happy-panda」，· 36层Transformer，他不只也正在Hugging Face上发觉这个模子，Jimmy Apples保留了设置装备摆设。

　　可能支撑多语种或代码夹杂输入；oss代表开源软件，· 大规模MoE设置（128个专家，正在只要不到「1分钟」的时间窗口！这是很多模子扩展上下文的一种体例（如GPT-4 Turbo利用的体例）；· 词表跨越20万，